Yamamoto sinh tại Kagoshima thuộc tỉnh Satsuma (tỉnh Kagoshima ngày nay), là con của một võ sĩ (samurai) phục vụ trong thị tộc Shimazu. Hồi trẻ, ông tham gia Chiến tranh Anglo-Satsuma và sau đó gia nhập lực lượng súng trường của Satsuma; trong chiến tranh Boshin chấm dứt thời kỳ của mạc phủ Tokugawa, ông tham chiến tại Trận Toba-Fushimi và các chiến trường khác, ông cũng là thành viên của đội tàu đã truy đuổi Enomoto Takeaki tới Hokkaidō năm 1869.